【精彩论文】基于改进旋转门算法的变电站数据压缩存储方法

基于改进旋转门算法的变电站数据压缩存储方法

于洋¹, 章昊¹, 王同文¹, 汪伟¹, 边瑞恩², 罗念华³

（1. 国网安徽省电力有限公司，安徽 合肥 230022; 2. 上海交通大学 电子信息与电气工程学院，上海 200240; 3. 南京南瑞继保电气有限公司，江苏 南京 211102）

摘要：为解决变电站数据采集与监视控制（supervisory control and data acquisition，SCADA）系统接入海量数据引发的数据存储问题，提出一种基于改进旋转门算法的变电站数据压缩存储方法。首先介绍了旋转门有损压缩算法，针对存储频率固定、门限值固定、忽视异常点等缺点，分别提出自适应变频数据存储策略、动态调整门限值策略和异常点记录策略以提高算法精度。其次，针对变电站SCADA系统遥信、遥控、遥调数据采用变位存储方法，遥测数据采用改进旋转门算法。最后，通过算例验证了所提方法的有效性。

引文信息

于洋, 章昊, 王同文, 等. 基于改进旋转门算法的变电站数据压缩存储方法[J]. 中国电力, 2023, 56(6): 202-208.

YU Yang, ZHANG Hao, WANG Tongwen, et al. Substation data compression and storage method based on improved revolving door algorithm[J]. Electric Power, 2023, 56(6): 202-208.

引言近年来，随着智能电网不断建设和发展，大规模广域数据实时采集和历史数据存储的需求快速增长^[1-6]。5G通信技术有望引领新一轮电力技术革命，其应用场景包括：万物互联、精准控制、海量量测、宽带通信和高效计算^[7-8]等。利用5G技术能够提供更完备的配电网差动保护方案，有利于智能电网的建设^[9-15]。5G技术为变电站接入更多用电设备和量测装置提供了通信层面的技术支撑，未来智能电网将接入更多量测点，海量历史数据存储将对硬件存储能力带来严峻考验。如何对数据进行压缩存储、提高数据存储性能成为必须考虑的问题之一。变电站接入数据主要为数据采集与监视控制（supervisory control and data acquisition，SCADA）系统的数据，包括遥信、遥测、遥调等^[16-18]。变电站长期数据通常存储在服务器或磁盘阵列中，随着历史数据存储规模不断增长，服务器硬盘容量或磁盘阵列容量面临严峻考验。高效的数据压缩技术可以有效提升存储效率，降低海量数据对硬件的压力，提高存储空间利用率。因此采用高效、节能的数据压缩算法对于变电站SCADA系统是十分必要的。SCADA系统数据压缩的方法可以分为有损压缩和无损压缩。常见的有损压缩算法包括信号变换方法、矢量量化方法和分段线性方法^[19]。旋转门（swing door trending，SDT）算法是一种常用的分段线性方法，广泛应用于工业数据处理领域^[20-21]。然而，该方法也存在存储频率固定、门限值固定、忽视异常点等缺点，限制了压缩精度。

本文提出一种基于改进旋转门算法的变电站数据压缩存储方法，通过引入自适应变频数据存储策略、动态调整门限值策略和异常点记录策略提高算法精度，为5G等新型技术背景下变电站历史数据压缩存储提供一种新的思路。

1  SDT压缩算法压缩技术分可通过某种编码方式保留数据中的关键点，降低数据的重复率^[22-25]。受到硬件存储容量限制，十分看重高压缩率特性，因此电力系统数据存储更适合采用有损压缩算法。

旋转门算法是一种线性拟合有损压缩算法，通过不断地构造平行四边形来选择保存的数据，只存储落在平行四边形之外的数据，不保存平行四边形之内的数据，其原理如图1所示。图1中a点是第1个压缩段的第1个数据点，在距离a点上下各为E（门限值）的坐标处有2个支点，从这2个支点穿过a点和b点构造平行四边形，该平行四边形包含a点和b点，这意味着a—b不是压缩段，这一段压缩尚未结束，继续依次考察a—c、a—d构成的平行四边形是否包含各点，发现2个支点穿过a点和d点构造的平行四边形不包含c点，则a—c是第一个压缩段，保存a点和c点，丢弃b点，第2个压缩段从d点开始，以此类推，直到遍历完所有数据点。

图1  SDT算法原理

Fig.1  Principles of the SDT algorithm

门限值E是SDT算法的唯一参数，其值的选取直接决定了压缩效果。当E值增大时，平行四边形面积增大，包含的数据点更多，这意味着丢弃的数据点更多，压缩比增大，但压缩误差也同步增大；当E值减小时，平行四边形面积减小，包含的数据点更少，这意味着丢弃的数据点变少，压缩比减小，但压缩误差也同步减小。实际应用时需要在压缩比和压缩误差之间综合权衡，找到合适的平衡点。

2  改进SDT算法原始SDT算法计算简单方便，但也存在一些缺点，有改进空间：1）压缩周期内的所有数据点都要做平行四边形判断，即使一段时间内的数据值不变或变化很小，浪费了一定的压缩时间；2）决定压缩性能的门限值E一旦确定，在整个压缩过程中不能改变，导致可控性差；3）没有处理异常值，异常值会严重影响前后2个压缩段的性能。鉴于此，本文针对上述3个缺点引入了3个策略，分别是自适应变频数据存储策略、动态调整门限值策略和异常点记录策略，以提高SDT算法的精度。2.1  自适应变频数据存储策略当前电力二次装置采集到数据上送SCADA系统通常有2种方式：周期上送和变化上送。周期上送是指每间隔一定时间，SCADA系统通过总召唤报文向装置下发数据召唤指令；变化上送是指装置检测到部分采集数据点的数据变化后，主动向SCADA系统发送数据帧。

根据SDT算法思想，本文引入了自适应变频数据存储策略，基于存储数据点的数值变化幅度动态地调整存储间隔时间，在一定时间内数据变化越平滑，存储间隔时间越大；数据变化越剧烈，存储间隔时间越小。

设存储时间间隔为 Δt ，最小存储时间间隔为 Δt_min ，第n次存储的存储时间间隔为 Δt_n ，若当前待存储数据在旋转门算法平行四边形范围之内时，快速增大存储时间间隔，即

若当前待存储数据在旋转门算法平行四边形范围之外时，快速减小存储时间间隔，即2.2  动态调整门限值策略原始SDT算法只有唯一参数门限值E，E值的选取直接影响到SDT算法的压缩比和精度。SCADA系统存储数据种类很多，不同种类、不同时间的数据波动幅度偏差很大，很难找到一个固定的E值。因此，本文引入动态调整门限值策略，针对不同数据在不同时段，自适应地根据压缩误差适度调整门限值。设误差参考值为 ε ，门限值上限和下限分别为 E_max 和 E_min ，第n轮压缩的门限值为 E_n ，结束后重建数据与原始数据相比的平均压缩误差为 η_n ，第n轮压缩结束后重建的误差偏差为 e_n ，则有根据式（3）和式（4），改进SDT算法可以根据每轮压缩效果动态调整门限值E，达到动态调整压缩误差和压缩比的作用。2.3  异常点记录策略在SCADA系统数据采集和存储过程中，有些数据点会因为装置异常、通信异常等原因发生数据剧烈抖动、跳变。由于异常点的存在，SDT算法在异常点前后会结束上一轮压缩，产生数据冗余，降低压缩精度。故本文提出一种异常点记录策略：异常点不作为压缩段的端点，当算法判断出现异常点时，直接记录异常点的值并跳过异常点，不开始新的压缩段。设异常阈值为M，第n次数据值为 D_n ，上一次数据值为 D_n−1 ，2次数据值的变化幅度 ΔD 为

当 ΔD＞M 时，视 D_n 为异常值，算法压缩存储 D_n 并在不开始新压缩段的前提下继续存储数据。

3  基于改进SDT算法的变电站5G数据压缩存储方法

变电站数据从装置采集、上送到SCADA系统接收、解析、存入实时库、历史库长期存储的信息流如图2所示。首先，变电站内各个装置通过电流互感器、电压互感器等各类传感器采集数据，以数据报文的方式传输给SCADA系统前置模块，这些数据主要是遥信、遥测、遥调、遥控等，也被称为“四遥”；其次，前置模块接收到数据报文后进行解析，通过基于消息总线的消息机制向实时库应用程序分门别类地发送数据信息，实时库区分存放“四遥”数据，站内监控画面上动态展示的数据源通常为实时库数据；最后，实时库应用程序向历史存储应用程序通过消息机制推送数据。本文提出的基于改进SDT算法的变电站数据压缩存储方法正是适用于最后一个历史库长期存储环节，在长期数据存储时提高压缩比，节省存储空间。

图2  变电站数据信息流

Fig.2  Substation data flow

当前变电站长期存储数据是“四遥”数据，通常按固定时间长度来保存，在数据读取时实时性要求也不高。本文结合“四遥”数据的特点，提出一种新的存储方法，将其分2类做区别处理。1）遥信、遥控、遥调。其中遥信、遥控是状态量，只有有限的数值选项。相当数量的一部分遥信信号稳定，可能很长时间不变位；遥控指令不具有周期采样特征，只有在触发遥控时才会有遥控信号；遥调虽然是模拟量，但是和遥控类似，只有在触发遥调时才会有遥调信号。以上3类可以采用变位存储的策略，仅存储变位数据点的值和时间。2）遥测。遥测属于模拟量，其中一些数据（如母线电压）波动小、历史曲线平稳，按固定长度存储将造成空间浪费，另一些数据（如线路有功功率）波动大，存储更多的数据点十分有必要。因此针对遥测，采用本文提出的改进SDT算法，区分不同性质的测点，利用算法自适应地分别调整各时间序列的存储时间间隔和门限值E，将电压、电流、功率区分开，针对每一个测点对应的历史时间序列（数据曲线）做存储。

本文提出的基于改进SDT算法的变电站数据压缩存储算法流程如图3所示。

图3  基于改进SDT算法的变电站数据压缩存储方法流程

Fig.3  Substation data compression and storage method process based on improved SDT algorithm

4  算例分析4.1  分析指标

衡量压缩算法优劣的指标主要包括压缩比、压缩误差、压缩和解压缩时间。设原始数据文件占存储空间大小为m，压缩后文件占存储空间大小为p，则压缩比S为

相对压缩误差R为式中： x_i 为第i个压缩前的数据； x′_i 为第i个压缩后解压还原的数据；q为数据总数。压缩比S越大，代表压缩节省的空间越多，压缩性能越好。相对压缩误差R越小，代表压缩精度越高，压缩性能越好。此外，压缩和解压缩时间代表了压缩、解压缩的速度。现代计算机硬件性能发展迅速，因此压缩算法对内存的占用一般不考虑。4.2  算例分析结果本文选用2021年6月某5G变电站SCADA系统采集存储的四遥数据作为算例数据，遥测采集时间间隔为1 min。遥测量主要包括：主变高压侧和低压侧、负荷线路、电容器参数，以及母线的三相电压等。为验证本文提出的改进SDT压缩算法的准确性，本文选取原始SDT算法、原始SDT+自适应变频数据存储策略（简称策略1）、原始SDT+动态调整门限值策略（简称策略2）、原始SDT+异常点记录策略（简称策略3）作为对照组，对比不同算法的压缩效果。在计算相对压缩误差R时要对压缩数据进行解压，解压数据采用的是线性插值法，其不依赖于存储时间间隔和门限值，依赖的是一个压缩段内起点到终点的斜率，因此对一个存储序列而言，动态的存储时间间隔策略和门限值策略不影响数据恢复。相比原始SDT算法，本文算法能够在压缩比S和相对压缩误差R这2个指标上取得优势，则可以验证相关调整策略的有效性和合理性。

各算法的综合性能比较如表1所示。由表1可以看出：1）原始SDT+策略1、原始SDT+策略2、原始SDT+策略3的压缩比S明显优于原始SDT算法，验证了3种策略均可以有效提升压缩比，节省存储空间；2）本文改进SDT算法的压缩比S显著优于其他算法，验证了3种策略的组合效果在压缩比提升上优于单一策略；3）原始SDT+策略2、原始SDT+策略3算法的相对压缩误差R显著优于原始SDT算法，说明策略2、策略3可以有效减少压缩误差，原始SDT+策略1的相对压缩误差R比原始SDT算法大，可能是因为存储时间间隔减少，丢失了一部分原始数据，这部分数据通过线性插值的方法还原，牺牲了一定压缩精度，但极大地提升了压缩比；4）本文改进SDT算法的压缩比S和相对压缩误差R优于原始SDT算法，说明本文算法可以有效提高原始SDT算法的压缩精度和压缩比，验证了调整策略的有效性和合理性；5）3种单一改进策略均减少了每日数据平均压缩和解压缩时间，说明每种策略都可以提高算法的时间性能；6）本文改进SDT算法的时间性能优于单一改进策略的算法时间性能。综上所述，本文改进SDT算法通过引入3种策略，相比原始SDT算法，同时有效地提高了压缩比、压缩精度和算法的时间性能，验证了本文算法的有效性。

表1  各算法性能比较

Table 1  Comparison of algorithm performance

各算法对物理数据压缩性能的比较如表2所示，在表2中，S(P)、S(Q)、S(U)、S(I)分别为对有功功率、无功功率、电压、电流的压缩比，R(P)、R(Q)、R(U)  、R(I)分别为对有功功率、无功功率、电压、电流的相对压缩误差。各类数据的存储时间间隔和门限值E不同。由表2可知，各类别数据的算法性能结果相似，没有明显的差异，本文改进SDT算法在各类别数据的压缩性能均优于原始SDT算法，验证了本文模型的有效性和准确性。

表2  各算法对物理数据压缩性能的比较

Table 2  Comparison of physical data compression performance of various algorithms

5  结语在5G等新型技术快速发展的背景下，变电站SCADA系统在未来可能会接入海量数据，其数据存储容量将呈现几何式增长。本文提出了一种基于改进SDT算法的变电站数据压缩存储方法，为解决此问题提供一种借鉴性思路。本文分别引入了自适应变频数据存储策略、动态调整门限值策略和异常点记录策略来提高SDT算法精度，算例表明本文所提方法相比原始SDT算法，可以有效提高算法压缩比、压缩精度和时间性能。（责任编辑　杨彪）

作者介绍

于洋（1986—），男，通信作者，硕士，高级工程师，从事电力系统保护与控制研究，E-mail：[e-mail];

★

章昊（1975—），男，高级工程师，从事电力系统自动化研究，E-mail：[e-mail];

★

王同文（1981—），男，博士，高级工程师，从事电力系统自动化研究，E-mail：[e-mail];

★

汪伟（1985—），男，硕士，高级工程师，从事电力系统自动化研究，E-mail：[e-mail]

欢迎点击文后“阅读原文”跳转期刊官网，获取更多信息！

 往期回顾 

编辑：于静茹

校对：王文诗

审核：方彤

声明

根据国家版权局最新规定，纸媒、网站、微博、微信公众号转载、摘编《中国电力》编辑部的作品，转载时要包含本微信号名称、二维码等关键信息，在文首注明《中国电力》原创。个人请按本微信原文转发、分享。欢迎大家转载分享。